Python爬虫从入门到精通（六）表单与爬虫登录问题

目录

前言

一、关于表单

二、管理cookie

1、使用cookie登录

2、 ##补充知识 cookiejar的使用

三、关于验证码（CAPTCHA）

前面的章节中，我们介绍了如果在客户端与服务器之间进行数据交换。我们可以使用GET方法和POST方法与服务器进行交互，敏感数据只应使用POST请求进行发送，以避免将书暴露在URL中。当然，服务器还支持其他HTTP方法，比如PUT和DELETE等方法，但这些方法在表单中都不支持。

客户端的浏览器需要与网站服务器进行交互，服务器需要根据用户输入返回对应的信息。

来看w3c的一个例子：

http://www.w3school.com.cn/html/html_forms.asp

关于GET，POST与服务器的交互方法，可以见5.2节。

下面我们重点来看一个怎么处理登录表单的问题。

HTTP协议本身是无状态的，怎么保存来过或登陆过网站的信息？

所以我们需要在HTTP协议之外通过某种机制来识别用户的身份。于是就有了Session和Cookie。

什么是Cookie，什么是Session？

会话(Session)跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。

    Cookie意为“甜饼”，是由W3C组织提出，最早由Netscape社区发展的一种机制。目前Cookie已经成为标准，所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。所以就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。

Cookie实际上是一小段的文本信息。客户端请求服务器，如果服务器需要记录该用户状态，就使用response向客户端浏览器颁发一个Cookie。客户端浏览器会把Cookie保存起来。当浏览器再请求该网站时，浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie，

以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。

我们通过一个实例来看一下怎么使用Cookie做登录的操作。有些时候爬虫只有登录之后才能抓取到网页中的信息。比如微博，知乎，人人网等。

关于Cookie的更详细信息，可以参看： https://www.w3cschool.cn/pegosu/skj81ozt.html

Cookie有时间限制，有域的限制，有编码问题等等。如果自己来管理Cookie，会很繁琐，特别是当有多个Cookie需要管理时，想要很好的管理Cookie很困难。

当遇到网页登录后，返回302跳转的情况下，urllib2的Response会丢失Set-Cookie的信息，导致登录不成功。

我们需要一个通用的能处理Cookie的工具来自动处理Set-Cookie请求；自动管理过期的Cookie，自动在对应域下发特殊Cookie；为了应对这些问题，我们引入了CookieJar；

网站为了防止黑客程序的恶意欺诈和攻击，采取的一种防御措施。据说最早是paypal这家公司引入的技术，现在已经在互联网网站中被广泛使用。

    一般处理验证码CAPTCHA有两种方式：

     1）在需要输入验证码时程序弹出图片让用户自己输入；

     2）使用图像识别技术来识别图中的信息；

光学字符识别 OCR：OCR（Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法，将形状翻译成计算机文字的过程;

程序处理复杂验证码的方法：

  1．使用Google的开源项目 Tesseract；

安装Tesseract：

Ubuntu中安装：

         sudo apt-get install tesseract-ocr

pip install pytesseract

训练与测试：https://www.cnblogs.com/cnlian/p/5765871.html

简单的Python测试代码：

2.使用百度AI等等：